全网第一份 Kylin 4.0 性能调优指南!
Kylin 4.0 相较之前的版本是一个重大的架构升级版本,全新的构建引擎和查询引擎极大地提升构建性能和查询性能,解决了查询单点问题等痛点;去除了 HBase 依赖,很大程度地解决了 Kylin 的难运维问题,也使得 Kylin 的计算和存储分离变为可能,更加符合云原生的技术趋势。
随着 Kylin 4.0-alpha 版本的发布,全新的构建和查询引擎也使 Kylin 4.0 中的调优方式相比 Kylin 之前的版本发生了重大的变化,这使得 Kylin 老用户积累的大部分调优经验不再适用于 Kylin 4.0 。
为了使用户能够快速了解 Kylin 4.0 中的调优方式和最佳实践,避免在使用 Kylin 4.0 过程中由于其调优方式与 Kylin 之前版本的巨大差异而遇到性能瓶颈,Kyligence 的大数据架构师张智超发布了 Kylin 4.0 的最新性能调优指南。(点击“阅读原文”,直达 Kylin 4 最新性能调优指南)
除此之外,我们更特意推出了本期 B 站视频,来讲解在 Kylin 4.0 中如何优化 Cube 构建和查询性能。本次视频主要分为 Cube 构建性能优化和查询性能优化两个部分。
# 上篇「Cube 构建性能优化」
关于 Cube 构建性能优化,除了可以通过原有的设置层级维度、必需维度等方式对 Cube 进行剪枝来提升构建速度以外,还可以通过设置合理的 Spark 资源配置来优化构建,比如利用 Kylin 4.0 中的新特性自动调参,或者调整全局字典以及维度表快照的相关配置来提升性能。
# 下篇「查询性能优化」
而查询性能优化,则主要是通过在 Cube 中指定 shardBy 列、设置 sortBy 列顺序、减少小文件、对查询引擎 SparderContext 的配置进行调整等方式来实现的。
除了以上针对 Kylin 4.0 调优的讲解视频,大家还可以在 Kylin Wiki 中了解 Kylin 4.0 的最新进展。随着 Kylin 4.0 不断迭代更新,Kylin 4.0 的性能调优方式也会不断发生变化和更新,欢迎大家持续关注我们的「最新性能调优指南」(点击“阅读原文”即可直达):
Kylin 4.0 性能调优指南目录如下图:
往期案例与实践
喜欢 Kylin 的产品和文章的话,别忘了「分享」「收藏」「点赞」和「在看」,让更多人知道我们哦😊
点击「阅读原文」
查看 Kylin 4.0 性能调优完整指南